Knowledge Distillation across Item and Code Spaces for Parallel Generative Recommendation
跨 item 与 code 空间的并行生成式推荐知识蒸馏
🧭 生成式推荐 · 知识蒸馏跨 item/code 空间 ★ 深度解读
The Hong Kong University of Science and Technology · University of Science and Technology of China
用 item 空间分布匹配和 code 边际匹配两个蒸馏目标，把序列模型的软分布迁移到并行语义 ID 推荐器
📌 工作参考价值（4 点）
- 已有并行 SID 生成式召回/排序模型（如 RPG、AsymRec）只吃 hard label，可以低成本引入预训练 SASRec 之类的 item 级 teacher 做软标签蒸馏，线上推理不增加 teacher，只换训练目标。IDM 提 Recall，CMM 提 NDCG，可按业务指标侧重选择。
- 跨 space 投影实现简单：用固定 item-to-code 分配矩阵 M_h，正向 M_h 聚合 student 各 head logits 成 item 分数，反向 M_h^T 聚合 teacher item probs 成每个 code position 的 marginal，代码量小、可复用。
- 训练时注意 loss 尺度：hard label 和蒸馏 loss 梯度范数差异大，先用若干 batch 计算两者梯度 L2 范数比的中位数做系数校准，再加线性 ramp 逐步引入蒸馏，能避免训练初期的破坏性梯度。
- 若要同时拿召回和排序收益，建议分别训练 IDM 和 CMM 两个学生，线上做 score-level fusion（如 0.5/0.5），比 joint training 更稳；teacher temperature 用原始分布即可，不要提前做温度平滑或锐化。